Địa bàn quận 2 từ năm 1997 đến nay khác hẳn với quận 2 cũ trước năm 1976 (hay còn gọi là quận Nhì). Trong giai đoạn 1967-1976, một phần nhỏ địa bàn quận 2 ngày nay chính là quận 9 (quận Chín) cũ của Đô thành Sài Gòn và sau đó là Thành phố Sài Gòn - Gia Định. Quận 9 khi đó gồm 2 phường: An Khánh và Thủ Thiêm (tương ứng với địa bàn các phường An Khánh, An Lợi Đông, Bình An, Bình Khánh, Thủ Thiêm ngày nay).

Quận 2 cũ, trước năm 1976

Thời Pháp thuộc

Tháng 9 năm 1889, thành phố Sài Gòn được chia thành hai quận cảnh sát (arrondissement policier): Quận 1 và Quận 2, đứng đầu mỗi quận cảnh sát là vị Quận trưởng cảnh sát (Commissaire).

Ngày 27 tháng 4 năm 1931, Tổng thống Pháp ký sắc lệnh hợp nhất thành phố Sài Gòn và thành phố Chợ Lớn thành một đơn vị hành chính mới gọi là Khu (một số tài liệu gọi là "Địa phương") Sài Gòn - Chợ Lớn (Région Saigon - Cholon ou Région de Saigon - Cholon). Quận 2 thuộc Khu Sài Gòn - Chợ Lớn.

Ngày 30 tháng 6 năm 1951, Thủ tướng chính quyền Quốc gia Việt Nam ký sắc lệnh số 311-cab/SG đổi tên Khu Sài Gòn - Chợ Lớn thành Đô thành Sài Gòn - Chợ Lớn. Lúc này, quận 2 thuộc Đô thành Sài Gòn - Chợ Lớn.

Thời Việt Nam Cộng hòa

Theo sắc lệnh số 143/NV ngày 22 tháng 10 năm 1956 của Tổng thống Việt Nam Cộng hòa Ngô Đình Diệm, Đô thành Sài Gòn - Chợ Lớn đổi tên thành Đô thành Sài Gòn. Khi đó, quận 2 lại thuộc Đô thành Sài Gòn.

Ngày 27 tháng 3 năm 1959, Tổng thống Việt Nam Cộng hòa ban hành Nghị định số 110-NV về việc phân chia sáu quận đang có thành tám quận mới: Nhứt, Nhì, Ba, Tư, Năm, Sáu, Bảy và Tám (trừ ba quận: Nhứt, Nhì, Ba giữ nguyên, các quận còn lại đều đổi tên và thay đổi địa giới hành chính). Lúc này, quận 2 (quận Nhì) trùng với địa giới quận Nhì cũ; có 04 phường: Chợ Bến Thành, Cầu Ông Lãnh, Cầu Kho, Nhà thờ Huyện Sĩ.

Năm 1962, quận Nhì lập thêm 03 phường: Bùi Viện, Nguyễn Cảnh Chân và Nguyễn Cư Trinh. Như thế lúc này quận có 07 phường.

Năm 1972, đổi tên phường Chợ Bến Thành của quận Nhì thành phường Bến Thành.

Cho đến ngày 29 tháng 4 năm 1975, quận 2 (quận Nhì) gồm 07 phường: Bến Thành, Bùi Viện, Cầu Ông Lãnh, Cầu Kho, Nhà thờ Huyện Sĩ, Nguyễn Cảnh Chân, Nguyễn Cư Trinh.

Giai đoạn 1975-1976

Sau khi Chính phủ Cách mạng lâm thời Cộng hòa Miền Nam Việt Nam tiếp quản Đô thành Sài Gòn và các vùng lân cận vào ngày 30 tháng 4 năm 1975, ngày 3 tháng 5 năm 1975 thành phố Sài Gòn - Gia Định được thành lập. Lúc này, quận 2 (quận Nhì) thuộc thành phố Sài Gòn - Gia Định cho đến tháng 5 năm 1976. Đồng thời, có những điều chỉnh do phường hiện hữu có diện tích quá nhỏ hoặc tương đối ít dân cư như, trong đó quận Nhì sáp nhập phường Bến Thành vào phường Nhà thờ Huyện Sĩ, phường mới mang tên phường Huyện Sĩ. Như thế lúc này quận Nhì còn 06 phường.

Ngày 20 tháng 5 năm 1976, tổ chức hành chánh thành phố Sài Gòn - Gia Định được sắp xếp lần hai (theo quyết định số 301/UB ngày 20 tháng 5 năm 1976 của Ủy ban Nhân dân Cách mạng thành phố Sài Gòn - Gia Định). Theo đó, quận Nhất và quận Nhì cũ hợp nhất lại thành quận 1 cho đến ngày nay. Như vậy quận 2 cũ bị giải thể vào năm 1976.

Từ năm 1997 đến nay

Ngày 6 tháng 1 năm 1997, Chính phủ Việt Nam ban hành Nghị quyết số 03-CP về việc thành lập các quận, phường mới thuộc thành phố Hồ Chí Minh[1]. Nội dung về việc thành lập Quận 2 và các phường thuộc Quận 2 như sau:

1.Thành lập Quận 2 trên cơ sở toàn bộ diện tích tự nhiên và dân số của các xã An Phú, An Khánh, Thủ Thiêm, Bình Trưng, Thạnh Mỹ Lợi thuộc huyện Thủ Đức.

Quận 2 có 5.020 ha diện tích tự nhiên và 86.027 nhân khẩu.

2.Thành lập các phường thuộc Quận 2 như sau:

a) Thành lập phường An Phú trên cơ sở 1.042 ha diện tích tự nhiên và 6.724 nhân khẩu của xã An Phú.

Phường An Phú có 1.042 ha diện tích tự nhiên và 6.724 nhân khẩu.

b) Thanh lập phường Thảo Điền trên cơ sở 375 ha diện tích tự nhiên và 6.714 nhân khẩu của xã An Phú.

Phường Thảo Điền có 375 ha diện tích tự nhiên và 6.714 nhân khẩu.

c) Thành lập phường An Khánh trên cơ sở 169 ha diện tích tự nhiên và 12.865 nhân khẩu của xã An Khánh.

Phường An Khánh có 169 ha diện tích tự nhiên và 12.865 nhân khẩu.

d) Thành lập phường Bình Khánh trên cơ sở 226 ha diện tích tự nhiên và 6.580 nhân khẩu của xã An Khánh.

Phường Bình Khánh có 226 ha diện tích tự nhiên và 6.580 nhân khẩu.

e) Thành lập phường Bình An trên cơ sở 169 ha diện tích tự nhiên và 6.774 nhân khẩu của xã An Khánh.

Phường Bình An có 169 ha diện tích tự nhiên và 6.774 nhân khẩu.

f) Thành lập phường Thủ Thiêm trên cơ sở 135 ha diện tích tự nhiên và 9.325 nhân khẩu của xã Thủ Thiêm.

Phường Thủ Thiêm có 135 ha diện tích tự nhiên và 9.325 nhân khẩu.

g) Thành lập phường An Lợi Đông trên cơ sở 385 ha diện tích tự nhiên và 5.068 nhân khẩu của xã Thủ Thiêm.

Phường An Lợi Đông có 385 ha diện tích tự nhiên và 5.068 nhân khẩu.

h) Thành lập phường Bình Trưng Tây trên cơ sở 222 ha diện tích tự nhiên và 7.832 nhân khẩu của xã Bình Trưng.

Phường Bình Trưng Tây có 222 ha diện tích tự nhiên và 7.832 nhân khẩu.

i) Thành lập phường Bình Trưng Đông trên cơ sở 345 ha diện tích tự nhiên và 10.496 nhân khẩu của xã Bình Trưng.

Phường Bình Trưng Đông có 345 ha diện tích tự nhiên và 10.496 nhân khẩu.

k) Thành lập phường Cát Lái trên cơ sở 669 ha diện tích tự nhiên và 6.567 nhân khẩu của xã Thạnh Mỹ Lợi.

Phường Cát Lái có 669 ha diện tích tự nhiên và 6.567 nhân khẩu.

l) Thành lập phường Thạnh Mỹ Lợi trên cơ sở 1.283 ha diện tích tự nhiên và 7.091 nhân khẩu của xã Thạnh Mỹ Lợi.

Phường Thạnh Mỹ Lợi có 1.283 ha diện tích tự nhiên và 7.091 nhân khẩu.

Sau khi thành lập, quận có 11 phường như ngày nay.